#비디오 AI

LAION, 1천만 시간 규모 오픈 비디오 데이터셋 공개

LAION이 CommonCrawl에서 수집한 13억 개의 비디오 URL을 기반으로 총 1천만 시간 분량의 8천만 개 비디오를 포함한 대규모 오픈 데이터셋 'LAION-BVD'를 연구 커뮤니티에 공개했습니다. 이 데이터셋은 비디오·오디오·이미지-텍스트 멀티모달 사전학습용으로 설계되었으며, 장면 감지로 추출한 클립에 합성 캡션을 생성했습니다. 이 데이터로 학습된 모델들은 표준 비디오-텍스트·오디오-텍스트 벤치마크에서 경쟁력 있는 성능을 보였고, 특히 InternVid 기반 모델 대비 최대 2.1% 향상된 성과를 달성했습니다.

클로드 영상 처리 도구 'claude-real-video' 공개

대부분의 LLM이 영상을 직접 보지 못하고 텍스트나 고정된 프레임만 읽는 한계를 극복하는 오픈소스 도구입니다. 이 도구는 로컬 환경에서 영상의 씬 전환을 감지해 의미 있는 프레임과 오디오 텍스트만 추출하므로, 어떤 LLM이든 영상을 완벽하게 이해할 수 있게 해줍니다. 클라우드 업로드 없이 로컬에서 처리되어 비용과 보안 측면에서 매우 유용합니다.